本文解决了人类运动预测的问题,包括预测未来的身体从历史上观察到的序列构成的构成。尽管其性能,但当前的最新方法依赖于任意复杂性的深度学习体系结构,例如经常性神经网络〜(RNN),变压器或图形卷积网络〜(GCN),通常需要多个培训阶段,等等。超过300万参数。在本文中,我们表明,这些方法的性能可以通过轻巧且纯粹的MLP体系结构超越,并且与几种标准实践(例如用离散的余弦变换代表身体姿势(DCT))相结合时,只有0.14亿个参数,预测关节的残留位移和优化速度作为辅助损失。对人类360万的详尽评估,Amass和3DPW数据集表明,我们的方法(我们将其配置为Simlpe)始终优于所有其他方法。我们希望我们的简单方法可以为社区提供强大的基准,并允许重新考虑人类运动预测的问题,以及当前的基准是否确实需要复杂的建筑设计。我们的代码可在\ url {https://github.com/dulucas/simlpe}上获得。
translated by 谷歌翻译
随着我们日常环境中机器人的存在越来越多,提高社交技能至关重要。尽管如此,社会机器人技术仍然面临许多挑战。一种瓶颈是,由于社会规范的强烈取决于环境,因此需要经常适应机器人行为。例如,与办公室的工人相比,机器人应更仔细地在医院的患者周围进行仔细的导航。在这项工作中,我们将元强化学习(META-RL)作为潜在解决方案进行了研究。在这里,机器人行为是通过强化学习来学习的,需要选择奖励功能,以便机器人学习适合给定环境的行为。我们建议使用一种变异元过程,该过程迅速使机器人的行为适应新的奖励功能。结果,给定一个新的环境,可以快速评估不同的奖励功能,并选择适当的奖励功能。该过程学习奖励函数的矢量表示和可以在这种表示形式下进行条件的元政策。从新的奖励函数中进行观察,该过程确定了其表示形式,并条件元元素对其进行了条件。在研究程序的功能时,我们意识到它遭受了后塌陷的困扰,在表示表示中只有一个尺寸的子集编码有用的信息,从而导致性能降低。我们的第二个贡献是径向基函数(RBF)层,部分减轻了这种负面影响。 RBF层将表示形式提升到较高的维空间,这对于元容器更容易利用。我们证明了RBF层的兴趣以及在四个机器人模拟任务上对社会机器人技术的使用元素使用。
translated by 谷歌翻译
面部额叶化包括从任意观看的脸部合成正面观看的脸部。本文的主要贡献是一种额叶化方法,该方法可以保留非刚性面部变形,以提高视觉辅助语音交流的性能。该方法在(i)〜刚性转换(刻度,旋转和翻译)和(ii)〜任意观看的面部和面部模型之间的非rigid变形之间交替交替。该方法具有两个重要的优点:它可以处理数据中的非高斯错误,并结合了动态的面部变形模型。为此,我们将广义的学生T-分布与线性动态系统结合使用,以说明僵化的头部运动和由语音产生引起的时变面部变形。我们建议使用零均值的归一化互相关(ZNCC)评分来评估该方法保留面部表情的能力。根据传统的几何模型或深度学习,对该方法进行了彻底评估并与几种最先进的方法进行了比较。此外,我们表明,当将这种方法纳入深度学习管道中时,即唇部阅读和语音增强,将单词识别和语音智能分数提高了相当大的差距。可以在https://team.inria.fr/robotlearn/research/facefrontalization-benchmark/上访问补充材料
translated by 谷歌翻译
当自我监督的模型已经显示出比在规模上未标记的数据训练的情况下的监督对方的可比视觉表现。然而,它们的功效在持续的学习(CL)场景中灾难性地减少,其中数据被顺序地向模型呈现给模型。在本文中,我们表明,通过添加将表示的当前状态映射到其过去状态,可以通过添加预测的网络来无缝地转换为CL的蒸馏机制。这使我们能够制定一个持续自我监督的视觉表示的框架,学习(i)显着提高了学习象征的质量,(ii)与若干最先进的自我监督目标兼容(III)几乎没有近似参数调整。我们通过在各种CL设置中培训六种受欢迎的自我监督模型来证明我们的方法的有效性。
translated by 谷歌翻译
钢筋学习的长期目标是建立智能代理,表现出快速学习,灵活地转移适于人类和动物的技能。本文调查了两个框架来解决这些目标的框架:情节控制和继承功能。epiSodic控制是一种认知的灵感方法,依赖于情节内存,是代理经历的基于实例的内存模型。同时,继承者功能和广义政策改进(SF&GPI)是一个元和传输学习框架,允许学习可以有效地重复使用不同奖励功能的稍后任务的任务的策略。单独地,这两种技术表明令人印象深刻的结果,从而大大提高了样本效率和优雅的重复使用了先前学习的政策。因此,我们概述了两种方法中的两种方法的组合,并经验证明其益处。
translated by 谷歌翻译
Transfer in Reinforcement Learning aims to improve learning performance on target tasks using knowledge from experienced source tasks. Successor Representations (SR) and their extension Successor Features (SF) are prominent transfer mechanisms in domains where reward functions change between tasks. They reevaluate the expected return of previously learned policies in a new target task to transfer their knowledge. The SF framework extended SR by linearly decomposing rewards into successor features and a reward weight vector allowing their application in high-dimensional tasks. But this came with the cost of having a linear relationship between reward functions and successor features, limiting its application to such tasks. We propose a novel formulation of SR based on learning the cumulative discounted probability of successor features, called Successor Feature Representations (SFR). Crucially, SFR allows to reevaluate the expected return of policies for general reward functions. We introduce different SFR variations, prove its convergence, and provide a guarantee on its transfer performance. Experimental evaluations based on SFR with function approximation demonstrate its advantage over SF not only for general reward functions but also in the case of linearly decomposable reward functions.
translated by 谷歌翻译
人类运动预测旨在预测未来的姿势给出了一系列过去的3D骷髅。虽然这个问题最近受到了不断的关注,但它主要是为单身人类而被隔离解决。在本文中,我们在处理执行合作任务时探讨了这个问题,我们寻求预测两个互动者的未来运动给出了他们过去骷髅的两个序列。我们提出了一种新颖的交叉互动注意力,用于利用两个人的历史信息,并学会预测两个姿势序列之间的交叉依赖性。由于没有培训此类交互式情况的数据集,我们收集了Expi(极端姿态互动),这是一个新的基于实验室的人交互数据集,其专业舞者的数据集执行了Lindy-Hop舞蹈动作,其中包含115个序列,其中3D身体带有30k帧的序列。和形状。我们在Expi上彻底评估了我们的交叉交互网络,并表明这两者都在短期和长期预测中,它一直以最优异的方式为单人运动预测的最先进的方法。
translated by 谷歌翻译
对社会互动中人类行为的预测在社会机器人或人造化身的设计中具有重要的应用。在本文中,我们专注于互动的单峰表示,并建议以数据驱动的方式解决互动生成。特别是,我们将人类相互作用的产生模型为一个离散的多序列生成问题,并呈现社会互动,这是一种新型的对抗性架构,用于有条件的相互作用生成。我们的模型建立在复发的编码器 - 码头生成器网络和双流歧视器上,该网络共同评估了相互作用和单个动作序列的现实主义,并在不同的时间范围内运行。至关重要的是,关于相互作用参与者的上下文信息在代理之间共享,并在发电和歧视者评估过程中重新注射。实验表明,尽管处理低维数据,但SocialInteractiongan成功地产生了互动人的高现实主义动作序列,与复发和卷积的鉴别剂的多样性进行了比较,我们认为这项工作将构成第一块朝着更高的维度和多二世型和多二世型和多二世模构成的石头互动产生。评估是使用经典GAN指标进行的,我们专门适应离散的顺序数据。我们的模型被证明可以正确学习交互序列的动态,同时利用了全部可用动作范围。
translated by 谷歌翻译
卷积神经网络在寻址像素级预测任务中的主要进展,例如语义分割,深度估计,表面正常预测等,从他们的强大功能中受益于视觉表现学习。通常,本领域模型的状态集成了对改进的深度特征表示的关注机制。最近,一些作品已经证明了学习的重要性,并结合了深度特征细化的空间和通道介绍。在本文中,WEAIM在有效地提升之前的方法和提出统一的深度框架,以便以原则的方式共同学习空间注意图和信道注意矢量,以便构建由此两种类型的注意力之间的引起的张量和模型相互作用。具体地,我们将估计和相互作用集成了概率表示学习框架内的关注,导致变分结构注意网络(Vista-net)。我们在神经网络内实现推理规则,从而允许概率的端到端学习和CNN前端参数。正如我们对六个大型数据集的大量实证评估所证明的致密视觉预测,Vista-Net在多个连续和离散预测任务中优于最先进的,从而确认在联合结构空间中提出的方法的益处 - 深度代表学习的关注估计。该代码可在https://github.com/ygjwd12345/vista-ner上获得。
translated by 谷歌翻译
变形AutiaceCoder(VAE)是一种强大的深度生成模型,现在广泛地用于通过以无监督方式学习的低维潜在空间来表示高维复杂数据。在原始VAE模型中,输入数据向量独立处理。近年来,一系列论文呈现了VAE的不同扩展来处理顺序数据,这不仅模拟了潜在空间,还可以在数据向量和对应的潜在矢量序列内模拟时间依赖性,依赖于经常性神经网络或状态空间模型。在本文中,我们对这些模型进行了广泛的文献综述。重要的是,我们介绍并讨论了一种称为动态变化自动化器(DVAES)的一般模型,包括这些时间VAE扩展的大的子集。然后我们详细介绍了最近在文献中提出的七种不同的DVAE实例,努力使符号和演示线均匀化,以及将这些模型与现有的经典型号联系起来。我们重新实现了那些七种DVAE模型,我们介绍了在语音分析 - 重新合成任务上进行的实验基准的结果(Pytorch代码被公开可用)。本文得出了广泛讨论了关于DVAE类模型和未来研究指南的重要问题。
translated by 谷歌翻译